流数据，简言之，是指没有明确定义开始或结束的连续数据流。比如，我们看的“下饭”综艺属于视频流、上下班听的音乐属于音频流。流数据的来源包括日常生活中的移动应用程序、安全摄像头、无人机等边缘设备。

这些来源丰富的 流数据呈现出以下特点：

1

数据实时到达；

2

数据规模宏大且不能预知其最大值；

3

数据到达次序独立，不受应用系统所控制；

4

数据一经处理，除非特意保存，否则不能被再次取出处理，或者再次提取数据代价昂贵。

流数据的这些特点，令企业开始重新审视应用程序以及基础架构的部署。加之，数字化时代，用户需要沉浸式、实时的数字体验和互动，流数据处理解决方案面临着诸多需求。

一方面，传统的批处理数据引擎已经完全无法满足现代企业对实时性的要求； 另一方面，现有的流数据系统大都基于消息模型，例如Kafka、Spark等，这些系统从本质上看，仅仅只是一些高速消息系统，因此很难适应当今物联网趋势下的各种复杂数据处理需求。

为了满足层出不穷的实时应用场景，同时降低大数据应用平台的投入，戴尔易安信流数据处理平台（Streaming Data Platform,SDP）应运而生。作为一个可弹性扩展的平台，SDP用于实时获取、存储和分析连续的流数据，可在同一个应用程序中同时处理实时和收集的历史数据。

该平台可以从各种来源捕获和存储流数据，这些来源包括物联网设备、网络日志、工业自动化、财务数据、实时视频、社交媒体源、应用程序和事件流。SDP能够处理来自多个来源的数百万个数据流，并确保低延迟和高可用性。

在今年的戴尔科技集团全球峰会，升级后的戴尔易安信流数据平台全新亮相。新的SDP能够在边缘提供强大的实时分析能力。同时占用空间较小，非常适合在边缘实时捕获、存储和分析流数据。

目前，戴尔易安信流数据平台已经在工业制造、建筑等行业得到实际应用，为客户业务提供预防性维护、检测等服务，并 参与到戴尔科技为中国赛艇队、皮划艇队开发的综合智能训练辅助系统中，提供边缘流数据处理解决方案。

而SDP的成功落地离不开其“得力干将”——流数据存储引擎Pravega。

“Good Speed”是如何实现的

Pravega在梵语中意为 “Good Speed”，其设计宗旨是成为流的实时存储解决方案。作为平台内的自研开源组件， Pravega是戴尔易安信流数据平台最基础的组件，承担着为所有其它组件提供流式数据存取服务的重任。

应用程序将数据持久化存储到Pravega中， Pravega的Stream可以有无限制的数量并且持久化存储任意长时间，使用同样的Reader API提供尾读(tail read)和追赶读(catch-up read)功能，能够有效满足两种处理方式的统一。

Kafka和Pulsar等消息中间件提供了非常适合当今数据密集型应用程序的现代Pub/Su基础架构。Pravega进一步增强了这种流行的编程模型，提供了云原生流媒体基础设施，并解决了令Kafka和Pulsar束手无策的架构问题，如分区的自动扩展、如何为大量分区保持高性能。

▲Pravega架构图

Pravega采取了存储分层的设计：

Tier 1存储

Tier1的存储通常部署在 Pravega集群内部，主要是 提供对低延迟，短期的热数据的存储。在每个Segment Store结点都有Cache以加快数据读取速率，Pravega使用Apache Bookeeper来保证低延迟的日志存储服务。

Long-term存储

Long-term的存储通常部署在 Pravega集群外部，主要是 提供对流数据的长期存储，即冷数据的存储。不仅支持HDFS、NFS，还会支持企业级的存储如戴尔易安信Isilon、ECS等产品。

存储分层使Pravega在延迟与吞吐量之间达到了一个最佳状态。这使得 Pravega成为向实时和批处理（分析）应用程序提供数据的理想存储基础。并且，Pravega是以Kubernetes Operator来对集群各组件进行有状态的应用部署，这可以使得应用的弹性伸缩更为灵活方便。

Pravega解决了使用传统消息队列数据丢失问题和自动伸缩难题，客户可以借助其降低存储和计算成本，减小运维压力，提高代码开发效率。此前， Pravega还联合TiDB构建了实时数据仓方案，提高了实时数仓系统的并行性，可用性与安全性。

丰富的应用场景，令Pravega拥有广阔的空间大施拳脚。下面我们跟随 戴尔易安信流数据平台产品营销经理Amy Tenanes的介绍，一起来了解下它是 如何为企业降低运营成本、提供实时洞察力和流程优化的。

Pravega的典型应用场景

游乐园设施的预防性维护

假设一个正常的振动读数是每秒3000次， 当振动读数过高时，Pravega可以提醒维护技术人员某个特定的游乐设施需要维护。同样的数据可以在以后使用完全相同的工具进行访问，有助于客户在更长的时间段内进行比较，总结出趋势，以预测故障或确定维修需求。

不仅是过山车，汽车行业同样也可以用到Pravega。它能够为油温、轮胎压力表等设置阈值，在轮胎漏气、发动机状况不佳等问题进一步恶化前，提醒客户进行预防性维护。

工业物联网中的异常检测

在制造业环境中，异常检测对节省时间、资源和开支极为重要。借助安置在生产线上的物联网传感器和摄像头，Pravega可以捕获图像和数据，比如传送带的速度和温度。

摄像机图像可以自动发现不符合规格的零部件或产品，然后发出警报，提醒哪里存在异常现象。利用来自传感器的数据，客户很容易发现机器的环境温度是否太高、传送带的速度是否正常等。

建筑业中施工的准确性和资源跟踪

在建筑环境中，无人机将实时视频和遥测数据流传送到Pravega。通过其提供的建筑项目实时进展情况，最新进展报告可以 将项目的数字效果图与实际进展情况进行比较，确保施工的准确性和规划时间的适当性。

同时，通过在地面建筑设备上安装传感器，Pravega可以实现物体检测，并对设备、人员和材料进行跟踪，确保在多个项目中对每一部分的资源进行最佳分配、利用。

“智能厨房”中的温度控制

Pravega可与大型储存冷柜中的数字温度计一起使用，实时获取流式温度读数，并 在温度超出范围时发出警报。这可以防止冷藏食品在冷柜门没关好的情况下变质，从而让食品获得尽可能长的保质期。

随着自动驾驶、股票交易等更多流数据应用场景的兴起，戴尔易安信流数据处理平台将服务更多领域，Pravega的价值也会进一步放大，“飞入”各行各业，帮助客户加速数字化转型。

各位少侠、侠女且留步

We want you！

与小伙伴合力闯荡

流世界的机会来了

今天，实时流无处不在

而Pravega为流式计算

重新构建了全新的存储

想不想

全面了解 Pravega的优秀特性

与 业界大牛来一场亲密接触

展示你和小伙伴

对于 实时数据分析的奇思妙想

由戴尔科技集团举办的

Pravega创客大赛

即日起开启报名通道！

为你们提供快速实现想法的机会

iPhone12等丰厚奖品已备好

让更多志同道合的人

拥抱流的世界！

或点击文末 报名参赛

返回搜狐，查看更多